Fine-Tuned LLM as a Complementary Predictor Improving Ads System
微调LLM作为补充预测器改进广告系统
🧭 生成式推荐 · 广告辅助预测 ★ 深度解读
Pinterest, Inc., USA
用微调LLM预测潜在转化广告商，注入检索与排序，线上广告回报提升4.94%-6.69%
📌 工作参考价值（4 点）
- LLM补全弱信号用户：对行为稀疏的用户，用LLM基于跨域特征（站外搜索/URL）预测可能转化的广告商，作为检索候选补充，显著提升覆盖与转化。
- Semantic ID增强LLM：将多模态内容（PinCLIP嵌入量化后的SID）拼入prompt并通过多阶段继续预训练注入模型，可大幅提高广告商预测召回率（Recall@20 +7.2pp），是低成本引入视觉/协同信号的实用路径。
- 渐进式训练与奖励设计：先SFT学单目标，再GRPO扩展到多输出并利用位置奖励与长度惩罚，这种简单到复杂的两阶段方案适合工业广告预测，GRPO的格式奖励保证了结构化输出直接可用。
- 工程化部署要点：通过用户分层降低推理量、增量更新只处理活跃用户、vLLM+Ray分布式批量推理配合前缀缓存和连续批处理，可在成本可控下实现天级全量推断，适配推荐系统的时效约束。